Beliau dilahirkan di rumah agam Haleʻākala di Honolulu, rumah ini kemudiannya menjadi Arlington Hotel.[4]

Beliau seorang dari lapan adik-beradik lahir kepada Duke Halapu Kahanamoku, seorang pegawai polis dan Julia Paʻakonia Lonokahikina Paoa. Kedua-dua ibu bapanya keturunan terus Raja Kamehameha I;[5] malah mereka dari golongan bangsawan (aliʻi nui)[4] yang berperanan sebagai penasihat (kahu) kepada kerabat raja tersebut.[6] Beliau dan ayahnya mendapat nama "Duke" daripada seorang pembesar bernama Bernice Pauahi Bishop yang membaptiskan ayahnya sempena cemar duli Putera Alfred, Duke Edinburgh ke Kerajaan Hawaii pada ketika itu.

Keluarga Kahanamoku berpindah ke Kālia, Waikiki tahun 1893 untuk bersama keluarga belah ibunya. Di sanalah beliau membesar dengan adik-beradiknya serta seramai 31 orang sepupunya.[3]:17 Beliau banyak meluangkan masa mudanya di pantai meluncur sehingga mahir, papan luncur terawal yang mula digunakan beliau dibentuk daripada gaya olo dikembangkan masyarakat Hawaii dengan ukuran 16 kaki (4.9 m) panjang diperbuat daripada kayu pokok koa seberat 114 paun (52 kg). Semua adik lelakinya iaitu Sargent, Samuel, David, William dan Louis terlibat bergiat dalam sukan air.[5]